AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization
AspectCLIP：通过方面引导一致性正则化优化CLIP表示空间
🧭 多模态预训练 · 方面感知对齐
South China University of Technology
提出方面引导的一致性正则化，解决图像-文本对信息不对称导致的全局对齐扭曲
📌 工作参考价值（4 点）
- 电商商品图文理解中，图片多属性而标题片面，可借鉴按文本属性聚类，簇内严格对齐、簇间原型对齐，提升多模态检索与推荐的语义一致性
- 循环一致性策略可用于商品图像-文本-图像的自监督增强，自动挖掘细粒度正负样本，提高表示鲁棒性
- 广告创意或Agent多模态调用时，采用方面感知表示，避免文本描述片面导致的语义误解，支持基于图像不同方面生成多样化文案
- 工程实现容易集成：属性聚类可用轻量文本编码器在线完成，循环一致性损失可直接插入现有对比学习框架，计算开销小